Emotion Understanding in Streaming Video with Trajectory-Aware Reliability
流式视频情感理解的轨迹感知可靠性框架
🧭 流式多模态情感计算 · 可靠性门控
Zhejiang University · Ant Group · School of Software Technology (Ningbo), Zhejiang University
提出轨迹感知可靠性框架 TRACE，基于流式信念的稳定性与切换模式选择性调用多模态重推理，优化在线情感理解的准确率-成本权衡
📌 工作参考价值（4 点）
- 在线推荐/排序场景中，用户行为流式到达，可借鉴 TRACE 的轨迹稳定性信号：不仅看当前预测置信度，还监控近期预测分布的熵、类切换频率，当轨迹不稳定时触发重排或调用更重模型。
- 将系统拆成低延迟主路径与高成本上下文重推理路径，通过可靠性分数做门控，能有效平衡实时性与准确性，适合广告/搜索中延迟敏感但需质量保障的模块。
- 对 LLM Agent 或 RAG 流程，在对话/推理中间步骤记录 belief 轨迹（如生成候选答案的分布），若检测到频繁切换则触发工具调用、检索或重新推理，避免过早 commit。
- 可靠性估计不必依赖额外标签，可从置信度、熵、稳定性等无监督信号合成，落地成本低，适合快速实验。